Danh xưng chính thức của lực lượng này là Đội Tự vệ trên biển (dịch theo cụm từ Kanji 海上自衛隊, Hải thượng Tự vệ đội), tên chính thức tiếng Anh là Japan Maritime Self-Defense Force, viết tắt là JMSDF. Tuy nhiên, nhiều tài liệu Việt ngữ thường gọi lực lượng này là Lực lượng Phòng vệ Biển Nhật Bản, Lực lượng Phòng vệ Hàng hải Nhật Bản, hay Lực lượng Tự vệ Biển Nhật Bản. Thậm chí, tại Hàn Quốc và một số bài báo Việt Nam thì gọi lực lượng này vằn cái tên vắn tắt và đúng bản chất hơn là Hải quân Nhật Bản. Mặc dù vậy, tên gọi vắn tắt này rất dễ nhầm lẫn và dễ gợi nhớ đến Hải quân Đế quốc Nhật Bản, nên về phương diện chính thức, danh xưng Hải quân Nhật Bản không được dùng đến.